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摘 要 


多 感觉 整合 遵循 空间 原则 和 时 间 原 则 ， 有 研究 表明 Pip-and-Pop 效应 产生 的 原因 是 多 感觉 整合 , 那么 


Pip-and-Pop 效应 是 否 同样 遵循 空间 原则 和 时 间 原 则 呢 ? 本 研究 采用 动态 视觉 搜索 范式 ,通过 两 个 腿 动 实 验 考察 空 
间 一 致 性 (实验 D 和 时 间 一 致 性 (实验 2) 对 Pip-and-Pop 效应 的 影响 。 结果 发 现 : (1) 当 视觉 目标 闫 色 变 化 伴随 一 个 同 
侧 的 听觉 刺激 时 所 产生 的 Pip-and-Pop 效应 最 大 ， 对 侧 条 件 没 有 发 现 Pip-and-Pop 效应 。C@Q2) 视 听 刺 激 同 时 呈现 所 产 
AE AY) Pip-and-Pop 效应 最 大 ， 随 视听 刺激 呈现 时 间 间 隔 的 增加 Pip-and-Pop 效应 逐渐 减弱 直至 消失 ,结果 表明 , 视听 


时 、 空 一 致 性 对 Pip-and-Pop 效应 具有 调节 作用 , 这 为 多 感 
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日 常生 活 中 ,我 们 每 时 每 刻 都 在 接收 大 量 来 日 
不 同感 觉 通道 的 信息 。 在 复杂 多 变 的 环境 中 寻找 物 
体 是 一 个 非常 耗 时 的 过 程 。 例 如 , 在 旅游 景点 和 朋 
友 们 走 散 时 ， 从 人 和 群 中 寻找 朋友 会 消耗 一 定时 间 。 
如 果 朋 友 一 边 挥手 一 边 大 喊 你 的 名 字 , 那么 找到 朋 
友 的 时 间 会 大 幅 缩 减 ， 寻 找 朋 友 这 一 过 程 实际 上 是 
一 种 伴随 听觉 刺激 的 动态 视觉 搜索 过 程 。van der 
Burg 等 人 (2008) 使 用 动态 视觉 搜索 范式 ， 要 求 被 试 
在 多 个 不 同 倾斜 角度 的 干扰 线段 中 搜索 垂直 或 水 
平 的 目标 线段 ， 搜 索 过 程 中 线段 颜色 不 断 进行 红 绿 
变化 。 结 果 发 现 , 在 目标 线段 颜色 变化 的 同时 呈现 
一 个 纯音 听觉 刺激 ,会 提高 目标 线段 的 搜索 效率 ， 
这 种 现象 被 称 为 Pip-and-Pop 效应 (van der Burg 
et al., 2008)。 

有 人 研究 认为 Pip-and-Pop 效应 产生 的 原因 是 多 
感觉 整合 (Chamberland et al., 2016; van der Burg 
et al., 2008; van der Burg et al., 2011)。 多 感觉 整合 
(multisensory integration，MSI) 是 指 来 自 不 同感 觉 
通道 的 信息 相互 作用 , 并 整合 为 统一 、 连 贯 且 有 意 
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党 整合 在 产生 Pip-and-Pop 效应 中 的 作用 提供 了 证 据 。 
Pip-and-Pop 效应 , 视听 空间 一 致 性 , 视听 时 间 一 致 性 , 动态 视觉 搜索 范式 , 眼 动 技术 


义 的 知觉 过 程 (Talsma et al., 2010; Tang et al., 2016; 
van der Stoep et al., 2017). van der Burg 团队 的 人 研究 
发 现 , 同步 呈现 的 听觉 刺激 与 视觉 目标 颜色 变化 后 
50 ms 在 项 枕 区 发 生 了 早期 的 多 感觉 整合 ,， 并且 这 
一 早期 多 感觉 整合 与 行为 学 上 的 Pip-and-Pop 效应 
显著 相关 ， 即 早期 多 感觉 整合 越 大 ,搜索 效 率 的 提 
HK ovan der Burg 等 人 认为 , 通过 早期 整合 将 听 
觉 与 视觉 目标 绑 定 , 使 得 视觉 目标 在 众多 不 断 变 化 
的 刺激 中 凸显 出 来 ,更 好 地 捕获 注意 ,与 只 有 视觉 
目标 条 件 相 比 搜索 效率 显 车 提高， 所 以 多 感觉 整合 
在 Pip-and-Pop 效应 中 有 着 关键 作用 (van der Burg 
et al., 2008;van der Burg et al., 2011). 

然而 , 人 研究 发 现 ， 当 视觉 目标 不 存在 时 听觉 刺 
激 也 能 提高 搜索 效率 , 所 以 研究 者 认为 视听 整合 并 
不 能 充分 地 解释 Pip-and-Pop 效应 。 因 此 提出 了 男 
一 种 解释 : BY oddball 刺激 (奇异 性 刺激 ) 吸 引 注 意 导 
致 了 Pip-and-Pop 效应 (Ngo & Spence, 2012; Tsai & 
Yeh, 2013;Zou et al., 2012)。Oddball 刺激 指 在 其 他 
高 概率 刺激 中 出 现 的 低 概率 刺激 (Pariyadath & 
Eagleman, 2007; Tsai & Yeh, 2013), 视觉 搜索 中 突 
然 出 现 的 听觉 刺激 就 是 一 个 oddball lyx, oddball 
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刺激 可 以 更 有 效 地 吸引 注意 (Chastain & Cheal, 
1999; Escera et al., 1998; Escera et al., 2002)。 人 研究 
发 现 当 视觉 目标 与 听觉 oddball 刺激 同时 呈现 时 ， 
被 试 的 主观 知觉 时 间 会 延长 ， 即 被 试 主观 上 感知 目 
标 刺 激 的 时 间 变 长 了 , 人 研究 者 把 这 种 现象 称 为 “ 冰 
冻 效 应 ” (freezing effect) (Vroomen & de Gelder, 
2000; Tse et al., 2004), 无 论 是 哪 种 通道 的 oddball 
刺激 都 可 能 导致 这 种 效应 (Ngo & Spence, 2010b; 
Ngo & Spence, 2012)。 

Pip-and-Pop 效应 产生 的 原因 是 多 感觉 整合 还 
是 oddball 刺激 吸引 注意 仍然 存在 争议 。 以 往 人 研究 
表明 多 感 党 整合 遵循 两 个 原则 一 一 空间 原则 (the 
spatial rule) 和 时 间 原 则 (the temporal rule)， 即 当 来 
自 不 同感 觉 通道 的 信息 在 大 致 相近 的 空间 位 置 呈 
现时 ， 多 感觉 整合 效应 最 大 (Spence，2013; van der 
Stoep et al., 2017); 当 来 自 不 同感 觉 通道 的 信息 在 
大 致 接近 的 时 间 呈 现时 ， 多 感觉 整合 效应 最 大 
(Fister et al., 2016; Stevenson et al., 2012)。 所 以 有 研 
究 通 过 调控 空间 一 致 性 与 时 间 一 致 性 来 探究 
Pip-and-Pop 效应 产生 的 原因 是 否 是 多 感觉 整合 
(van der Burg et al., 2008; Ngo & Spence, 2010a; 
Zou et al., 2012)。 如 果 Pip-and-Pop 效应 遵循 空间 和 
时 间 原 则 , 那么 Pip-and-Pop 效应 产生 的 原因 存在 
多 感觉 整合 的 作用 ; 如 果 Pip-and-Pop 效应 不 遵循 
空间 和 时 间 原 则 ,那么 Pip-and-Pop 效应 产生 的 原 
因 可 能 是 oddball 刺激 吸引 注意 ， 即 突然 出 现 的 听 
党 刺激 影响 了 视 党 搜索 效率 。 

一 方面 ,前 人 有 关 视 听 刺 激 空 间 一 致 性 对 
Pip-and-Pop 效应 影 啊 的 研究 结果 并 不 一 致 。Ngo 
和 Spence (2010a) 人 研究 发 现 与 无 效 空间 信息 线索 相 
E, 具有 空间 信息 的 听觉 刺激 会 提高 视觉 搜索 的 效 
率 ， 即 视听 刺激 空间 一 致 性 影响 了 Pip-and-Pop 效 
应 。 因 此 , Ngo 和 Spence 认为 Pip-and-Pop 效应 是 
视听 刺激 整合 引起 的 , 空间 位 置 越 一 致 ， 视 听 刺 激 
越 容 易 进 行 整 合 ，Pip-and-Pop 效应 越 大 (Ngo & 
Spence, 2010a)。 但 Fleming 等 人 (2020) 研 究 表明 , 47 
为 与 脑 电 结 末 均 显示 视听 刺激 空间 位 置 一 致 与 否 
对 Pip-and-Pop 效应 的 影响 差 异 不 显著 , 他 们 由 此 
提出 空间 一 致 性 并 不 是 Pip-and-Pop 效应 产生 的 必 
要 条 件 , 视听 刺激 整合 并 没有 起 到 重要 作用 
(Fleming et al., 2020)。 上述 两 个 研究 结果 不 一 致 的 
原因 可 能 与 刺激 在 空间 排列 上 的 差异 有 关 。Ngo 和 
Spence (2010a) 将 刺激 随机 排列 在 10x10 的 隐形 网 
格 中 ,按照 搜索 集 大 小 在 该 隐形 网 格 上 的 随机 位 置 
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呈现 视觉 刺激 (Ngo & Spence, 2010a)。 Fleming 等 人 
(2020) 虽 然 也 如 此 在 随机 位 置 上 呈现 视觉 刺激 ,但 
他 们 缩小 了 搜索 区 域 且 增 加 了 干扰 线段 的 方向 , 同 
时 还 增加 了 人 机 距离 ， 降低 了 视觉 上 的 空间 关联 
性 。 所 以 本 研究 为 了 更 好 地 建立 空间 关联 性 , 将 视 
觉 搜 索 区 域 分 为 左右 两 侧 ( 与 中 心 点 有 明显 距离 )， 
线段 整齐 地 排列 在 网 格 中 (以 搜索 集 36 为 例 , 左右 
分 别 为 3x6 的 网 格 )， 以 此 更 明确 地 操纵 空间 一 致 
性 从 而 探究 视听 空间 一 致 性 如 何 影响 Pip-and-Pop 
效应 。 

另 一 方面 ,以往 有 关 视 听 刺 激 时 间 一 致 性 对 
Pip-and-Pop 效应 影响 的 研究 结果 也 是 不 一 致 的 。 
van der Burg 等 人 (2008) 使 用 动态 视觉 搜索 范式 ， 
在 研究 中 设置 了 8 种 声音 目标 间隔 (Tone-Target- 
Interval，TTD 和 条件 ， 结 果 发 现 TTI 为 -100 ms, 
-50 ms, —25 ms, 0ms, 25ms, 100 ms 时 (0 ms 为 
同时 呈现 , a BO W eR AE A Se BL, TE BCA hia 
呈现 )， 听 觉 刺激 才 会 促进 对 视觉 目 标的 搜索 ， 视 
听 刺 激 同时 呈现 时 的 促进 作用 最 大 ， 且 声音 目标 间 
隔 与 反应 时 之 间 旦 如 型 函数 关系 ， 即 视听 刺激 呈现 
的 时 间 一 致 性 越 高 ,搜索 越 快 ,van der Burg 等 人 认 
为 ， 同 时 呈现 的 听觉 刺激 以 及 在 整合 时 间 窗 内 
(—100~100 ms) 呈 现 的 听觉 刺激 引发 的 搜索 效率 提 
高 是 由 于 路 通道 整合 增强 了 视觉 目标 的 凸显 性 (van 
der Burg et al., 2008)。 但 也 有 研究 发 现 视听 刺激 时 
间 一 致 性 并 不 会 影响 Pip-and-Pop 效应 , Zou 等 人 
(2012) 比 较 了 0 ms, —100 ms 以 及 听觉 刺激 随机 时 
间 星 现 三 种 时 间 条 件 , 发 现 这 三 种 条 件 都 会 促进 视 
觉 目标 的 搜索 效率 , 但 它们 之 间 没 有 显著 差异 ， 因 
此 Zou 等 人 (2012) 认 为 Pip-and-Pop 效应 是 无 空间 
信息 的 听觉 刺激 引发 的 “冰冻 效应 ”所 致 ， 即 
oddball 刺激 吸引 注意 的 作用 , 无论 听觉 刺激 何 时 
呈现 都 会 促进 视 党 搜索 ， 而 不 是 视听 刺激 整合 作用 
的 结果 (Zou et al., 2012). 

上 述 研究 使 用 的 搜索 集 大 小 不 同 , 在 搜索 集 为 
48 和 60 的 研究 中 发 现 了 视听 时 间 一 致 性 对 Pip- 
and-Pop 效应 的 影响 (van der Burg et al., 2008; 
Kösem & van Wassenhove, 2012), 在 搜索 集 36 的 研 
究 中 没有 发 现 视 听 时 间 一 致 性 对 Pip-and-Pop 效应 
的 影响 (Zou et al., 2012)。 所 以 搜索 集 大 小 可 能 在 视 
听 时 间 一 致 性 影响 Pip-and-Pop 效应 的 过 程 中 起 着 
调节 作用 。 此 外 , 在 视听 空间 一 致 性 影响 Pip-and- 
Pop 效应 的 研究 中 ,搜索 集 大 小 在 其 中 的 调节 作用 
也 是 不 一 致 的 Ngo & Spence, 2010a; Fleming et al., 
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2020)。 可 能 的 原因 是 在 搜索 集 较 小 的 条 件 下 知觉 
人 负 答 较 低 ， 只 要 听觉 刺激 存在 ,无 论 其 是 否 与 视觉 
目标 空间 或 时 间 上 一 致 都 可 以 提高 视觉 搜索 效率 。 
为 了 进一步 确定 这 个 问题 ,本 人 研究 引入 搜索 集 大 小 
这 一 变量 , 通过 行为 与 眼 动 两 方面 数据 探究 在 不 同 
知觉 负 丛 下 视听 刺激 时 间 一 致 性 和 空间 一 致 性 对 
Pip-and-Pop 效应 的 影响 。 

基于 上 述 视 听 刺 激 空 间 、 时 间 一 致 性 对 
Pip-and-Pop 效应 的 影响 研究 结论 并 不 一 致 ， 视 觉 
搜索 任务 中 的 行为 反应 时 只 能 反映 听觉 刺激 是 否 
提高 了 搜索 效率 ， 而 眼 动 数 据 可 以 根据 眼 跳 和 扫 视 
等 反映 搜索 中 的 实时 信息 处 理 过 程 。 具 体 来 说 , 通 
过 平均 注视 次 数 反 映 知 觉 负 三 大 小 , 平均 眼 跳 幅度 
反映 在 眼 跳 前 被 试 获取 的 信息 量 ， 从 而 揭示 听觉 刺 
激 具 体 如 何 提高 搜索 效率 。 此 外 , 平均 注视 时 间 可 
以 衡量 是 否 有 冰冻 效应 产生 ， 从 而 说 明 Pip-and- 
Pop 效应 的 产生 是 否 有 oddball 刺激 吸引 注意 的 作 
用 ,进而 可 以 探究 Pip-and-Pop 效应 的 产生 机 制 。 所 
以 本 人 研究 将 眼 动 技 术 运 用 到 动态 视觉 搜索 范式 中 ， 
通过 两 个 实验 考察 以 下 两 个 问题 : (1) 调 控 搜 索 集 大 
小 和 听觉 刺激 呈现 位 置 ， 探 究 视 听 刺 激 空 间 一 致 性 
如 何 影响 Pip-and-Pop 效应 。(2) 调 控 搜索 集 大 小 和 
上 听觉 刺激 与 视觉 目标 的 间隔 时 间 ， 探 究 视听 刺激 时 
间 一 致 性 如 何 影响 Pip-and-Pop 效应 。 如 采 
Pip-and-Pop 效应 产生 的 原因 是 多 感觉 整合 ， 那么 
Pip-and-Pop 效应 亲人 循 空间 一 任性 和 时 间 一 致 性 原 
则 ， 即 视听 刺激 呈现 的 空间 位 置 越 一 致 , 产生 的 
Pip-and-Pop 效应 越 大 ; 视听 刺激 呈现 的 时 间 越 一 
致 , 产生 的 Pip-and-Pop 效应 越 大 .如 果 了 Pip-and-Pop 
效应 产生 的 原因 是 oddball 刺激 吸引 注意 ,那么 无 
论 空间 和 时 间 一 致 与 否 , 突然 出 现 的 听觉 刺激 都 应 
影响 视觉 搜索 效率 。 


2 实验 1: 视听 空间 一 致 性 对 
Pip-and-Pop 效应 的 影响 


2.1 方法 
2.1.1 ix 


采用 G*Power toolbox 3.1.9.2 计算 实验 所 需 最 
小 样本 量 (Erdfelder et al., 2009; Faul et al., 2007). 
根据 听觉 刺激 对 视 沉 搜索 影响 的 研究 (Ngo & 
Spence, 2012), 重复 测 量 方差 分 析 时 视听 空间 一 致 
性 的 效应 量 mp = 0.43, 设置 参数 I 类 错误 的 概率 a 
error prob 为 0.05, 检验 效能 Power (1 — B err prob) 
为 0.9, 计算 得 到 最 小 样本 量 为 24。 为 避免 眼 动 数 
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据 缺 失 导 致 样本 量 不 足 , 在 大 学 生 中 招募 被 试 32 
名 ,其 中 8 名 被 试 在 实验 中 有 过 多 皮 眼 导致 数据 缺 
失 被 剔除 ,实际 样本 量 为 24 人 (男生 5 名 , 女生 19 
名 ), 年 龄 19 至 28 岁 , 平均 年 龄 22.5 岁 (SD = 2.3)。 
所 有 被 试 均 为 右 利 手 ， 听力 、 视 力 或 矫正 视力 正常 ， 
无 色盲 色弱 。 在 实验 完成 后 被 试 会 获得 相应 的 报酬 。 
2.1.2 ”实验 仪器 和 材料 

实验 采用 Eyelink 1000 Plus 红外 反射 系统 眼 动 
记录 仪 (SR Research, Canada), 记录 被 试 右 眼 眼 动 
数据 ,采样 频率 为 1000 Hz。 视 党 刺激 呈现 在 Dell 
液晶 显示 器 上 ,型 号 为 P1914SF, 屏幕 可 视 尺 寸 为 
19 英寸 , 屏幕 分 辨 率 为 1024x768 像素 , 刷新 率 为 
75 Hz。 被 试 距离 电脑 屏幕 75 cm。 实 验 程序 使 用 
Matlab2016a 软件 和 Psychtoolbox Eyelink Toolbox 
编制 。 

实验 1 视觉 刺激 如 图 1 tas, 由 多 个 干扰 线段 
(倾斜 方向 分 别 为 22.5°, 45°, 67.5°, 112.5°, 135°, 
157.5°) 和 1 个 目标 线段 (水 平 或 者 垂直 ， 目 标 方向 
在 试 次 中 平衡 ) 组 成 。 所 有 线段 一 半 为 红色 
(13.9 cd/m2)， 另 一 半 为 绿色 (46.4 cd/m’), 呈现 在 黑 
色 (0.4 cdm2) 背 景 的 屏幕 上 上， 每 个 线段 大 小 为 
0.57"x0.17"。 实 验 中 有 3 个 搜索 集 ， 分 别 为 36, 48, 
60 (图 1 以 36 为 例 )。 视 觉 刺 激 分 成 相等 的 两 个 矩 
阵 ， 呈 现在 屏幕 左右 两 侧 (搜索 集 为 36 时 : 每 侧 
3.4°x8.5°; 搜索 集 为 48 HF: 每 侧 5.1°x8.5°; 搜索 集 
为 60 时 : 每 侧 6.8"x8.5?)， 两 侧 刺激 到 中 央 注 视点 
水 平 距 离 为 3.74°?。 实 验 过 程 中 , 线段 不 断 进 行 红 绿 
颜色 变化 ,每 次 变化 的 线段 数量 不 同 (搜索 集 为 36 
时 ,每 次 1、3 或 5 个 线段 颜色 随机 变化 ; 搜索 集 为 
48 时 , 每 次 1 、4 或 7 个 线段 颜色 随机 变化 ; 搜索 
集 为 60 时 , 每 次 1、5 或 9 个 线段 颜色 随机 变化 )。 
变化 间隔 为 50、100 或 者 150 ms, 三 种 变化 间隔 随 
机 出 现 , 共有 9 个 变化 间隔 (一 个 变化 周期 )， 以 此 
避免 视觉 刺激 在 进行 连续 变化 时 有 很 高 的 规律 性 。 
目标 线段 颜色 变化 遵循 以 下 3 种 规则 : (1) 目 标 线 段 
颜色 单独 变化 , 并 且 每 个 周期 只 能 改变 一 次 ， 目 标 
线段 颜色 变化 的 平均 频率 为 1.11 Hz ( 即 每 900 ms 
变化 一 次 ); (2) 目 标 颜 色 变 化 之 前 是 150 ms 的 变化 
间隔 ， 目 标 颜 色 变化 之 后 是 100 ms 的 变化 间隔 。 由 
于 视听 整合 的 时 间 窗 大 约 为 +100 ms, 在 目标 变化 
前 后 的 时 间 间 隔 如 此 设置 以 确保 明确 的 视听 整合 ; 
(3) 每 个 周期 的 前 三 个 间隔 目标 线段 颜色 不 会 变化 。 

听觉 刺激 为 1000 Hz 的 纯音 (65 dB, 60 ms, © 
括 5ms 淡 入 和 5 ms 淡出 的 时 间 ), 通过 位 于 屏幕 后 
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左右 两 侧 的 扬声器 呈现 。 听 觉 刺 激 的 呈现 分 4 种 情 
WOLK 1): (1) 无 声音 条 件 : 不 呈现 听觉 刺激 ; (2) 同 
侧 条 件 ( 提 供 有 效 空间 信息 条 件 ): 听觉 刺激 与 视觉 
目标 同 侧 呈 现 ， 即 视觉 目标 在 右 侧 ， 听 学 刺激 从 厂 
声 道 发 出 ; 视觉 目标 在 左 侧 ， 听 觉 刺 激 从 左 声 道 发 
出 ; (3) 对 侧 条 件 (提供 无 效 空间 信息 条 件 ): 听觉 刺 
激 与 视觉 目标 对 侧 呈 现 ， 即 视觉 目标 在 右 侧 ， 听 觉 
刺激 从 左 声 道 发 出 ; 视觉 目标 在 左 侧 ， 听 觉 刺 激 从 
右 声 道 发 出 ; (4) 双 侧 条 件 (不 提供 空间 信息 条 件 ): 
无 论 视 觉 刺激 在 左 侧 还 是 右 侧 ， 听 觉 刺激 都 从 双 声 
道 发 出 , 形成 一 个 在 中 间 位 置 的 听觉 刺激 。 
2.1.3 ”实验 设计 和 程序 

实验 1 采用 3 (搜索 集 大 小 : 36, 48, 60) x 4 ( 视 
听 空 间 一 致 性 : 无 声音 ， 同 侧 ， 对 侧 ， 双 侧 ) 两 因素 
被 试 内 实验 设计 。 在 正式 实验 之 前 先进 行 听 觉 定 位 
测试 ， 证 被 试 辨别 听觉 刺激 的 方向 ， 正 确 区 分 来 自 
不 同 空间 位 置 的 声音 后 继续 进行 实验 。 为 了 减少 头 
动 以 获取 更 准确 的 眼 动 数据 ,实验 开始 前 ,指导 被 
试 前 额 抵 住 前 额 靠 ,下巴 放 在 下 巴 托 上 ,进行 九 点 
校准 。 校 准 完 成 后 ,开始 实验 。 

具体 实验 流程 如 图 1 AN, 每 个 试 次 呈现 之 前 ， 
屏幕 中 央 会 呈现 一 个 漂移 校准 点 ,校准 成 功 后 校准 
点 消失 , 然后 呈现 中 央 注 视点 ，1000 ms 后 出 现 搜 


1000 ms 注视 点 


无 声音 条 件 
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索 屏 ， 要 求 被 试 既 快 又 准 的 找到 目标 线段 ， 并 通过 
按键 (Z 键 或 M 键 ) 反 应 判断 目标 线段 是 垂直 还 是 水 
F, 按键 在 被 试 之 间 平 衡 。 如 果 9 个 间隔 呈现 完 之 
后 被 试 没有 按键 反应 ， 则 再 次 循环 呈现 实验 刺激 ， 
直到 被 试 做 出 反应 再 进入 下 一 个 试 次 。 实 验 要 求 被 
试 忽略 听觉 刺 激 。 

正式 实验 包括 6 组 ,每 种 搜索 集 2 ZA, 每 组 有 
96 个 试 次 , 4 种 视听 空间 一 致 性 条 件 在 每 组 中 随机 
EM, H 576 个 试 次 。 每 组 之 前 都 有 一 个 练习 实验 ， 
包括 20 个 试 次 ,组 之 间 允 许 被 试 休息 ,每 组 开始 之 
前 都 要 进行 九 点 校准 。 整 个 实验 大 约 持 续 90 分 钟 。 
2.1.4 数据 分 析 

正确 率 (Accuracy) 指 被 试 正 确 完成 试 次 的 概 
率 。 反 应 时 (Reaction time) 指 搜索 屏 呈 现 到 被 试 做 出 
反应 之 间 的 时 间 间 隔 。 搜 索 效 率 指 在 正确 反应 的 基 
hE, 反应 的 快慢 。 反 应 时 越 长 , 说 明 被 试 找到 日 
标的 速度 越 慢 ,搜索 效率 越 低 ; 反应 时 越 短 ,说 明 
被 试 找 到 目标 的 速度 越 快 ， 搜 索 效率 越 高 。 

反应 时 和 正确 率 只 能 说 明 听 觉 刺 激 能 否 提高 
搜索 效率 , 为 了 进一步 探究 听觉 刺激 具体 如 何 影 响 
搜索 效率 ,根据 以 往 研究 选择 了 3 个 眼 动 指标 
(Zou et al., 2012): (1) 平 均 注 视 次 数 (Mean fixation 
number) 指 落 入 当前 兴趣 区 注视 点 的 次 数 。 该 指标 
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对 侧 条 件 


双 侧 条 件 
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图 1 实验 1 流程 图 和 视听 刺激 呈现 条 件 图 
TE: 图 la 为 实验 1 流程 图 , 首先 进行 漂移 校准 ,校准 后 呈现 中 央 注 视点 ,，1000 ms 后 呈现 搜索 屏 。 搜 索 屏 以 视听 刺激 条 件 中 的 无 声 
音 条 件 为 例 ,视觉 刺激 以 搜索 集 36 为 例 , 包括 35 个 干扰 线段 , 1 个 目标 线段 。 图 lb 分 别 为 视听 刺激 条 件 中 的 同 侧 条 件 、 对 侧 条 件 、 


双 侧 条 件 (详情 阅读 方法 部 分 )。 
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可 以 有 效 地 反映 知觉 负荷 大 小 ,知觉 负 谷 越 大 , F 
均 注 视 次 数 越 多 , 搜索 效率 越 低 ; (2) 平 均 眼 跳 幅 度 
(Mean saccade amplitude) 指 从 当前 注视 到 下 一 次 注 
视 之 间 的 距离 。 眼 跳 幅 度 越 大 , 说明 被 试 在 眼 跳 前 
获取 的 信息 越 多 , 搜索 效率 越 高 (3) 平均 注视 时 间 
(Mean fixation duration) 指 落 入 当前 兴趣 区 所 有 注 
视点 的 注视 时 间 的 平均 。 该 指标 反应 整体 的 加 工 过 
FE, Zou 等 (2012) 用 该 指标 衡量 冰冻 效应 ,探究 呈现 
的 听觉 刺激 是 否 拓展 了 平均 注视 时 间 。 

为 了 考察 视听 空间 一 致 性 和 搜索 集 对 Pip-and- 
Pop 效应 的 影响 ,对 所 有 指标 都 进行 了 3 (搜索 集 大 
小 : 36, 48, 60) x 4 (视听 空间 一 致 性 : 无 声音 , 同 
侧 ， 对 侧 ， 双 侧 ) 的 重复 测量 方差 分 析 。 
2.2 ”结果 与 分 析 

剔除 反应 错误 以 及 反应 过 快 和 过 慢 的 试 次 ， 反 
应 过 快 指 目 标 首 次 变化 前 被 试 就 已 经 做 出 反应 的 
IK, 反应 过 慢 指 被 试 在 目标 变化 了 10 次 及 以 上 
依旧 没有 做 出 反应 的 试 次 (van der Burg et al., 
2008)。 最 终 剔 除 试 次 占 总 试 次 的 5.5%。 
2.2.1 正确 率 

所 有 被 试 的 正确 率 均 达到 98% 以 上 , 正确 率 方 
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差分 析 结 果 发 现 搜 索 集 大 小 主 效 应 不 显著 ,，F(2， 
46) = 0.74, p = 0.48; 视听 刺激 空间 一 致 性 主 效应 
不 显著 , FG, 69) = 0.25, p = 0.86; 二 者 交互 作用 不 
显著 , F(6, 138) = 0.66, p = 0.68. 各 个 实验 条 件 下 的 
正确 率 均 较 高 。 
2.2.2 ”反应 时 

反应 时 方差 分 析 结 果 发 现 搜 索 集 大 小 主 效应 
显著 , F(2, 46) = 5.34, p = 0.008, mp = 0.19, 进一步 
分 析 表 明 , 搜索 集 为 60 条 件 的 反应 时 (3.5 s) fb ERK 
于 搜索 集 为 48 条 件 (3.3 s, p = 0.03) 和 搜索 集 为 36 
条 件 的 反应 时 (3.2 s, p = 0.004), 后 两 者 之 间 无 显著 
差异 = 0.47)。 视 听 刺 激 空 间 一 致 性 主 效应 显著 ， 
F(3, 69) = 11.86, p < 0.001, ni = 0.34, 进一步 分 析 
表明 , 同 侧 条 件 的 反应 时 (3.07 s) 最 短 , 并 且 显 著 短 
于 双 侧 条 件 (3.27 s, p = 0.006)、 对 侧 条 件 (3.50 s, p< 
0.001) 以 及 无 声音 条 件 (3.43 s, p < 0.001) 的 反应 时 。 
双 侧 条 件 的 反应 时 也 显著 短 于 对 侧 条 件 (p = 0.005) 
和 无 声音 条 件 ( = 0.038) 的 反应 时 。 对 侧 条 件 的 反 


应 时 最 长 ， 并 且 和 无 声音 条 件 无 显著 差异 ( = 
0.35)。 搜索 集 大 小 和 视听 空间 一 致 性 的 交互 作用 不 
显著 , F(6, 138) = 0.46, p = 0.84 ( 见 图 2a)。 
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同 侧 双 侧 对 侧 
视听 刺激 空间 一 致 性 


同 侧 双 侧 对 侧 
视听 刺激 空间 一 致 性 


图 2 实验 1 结果 图 
注 : 图 a、b、c、d 分 别 为 不 同 条 件 下 的 反应 时 (s)、 平 均 注 视 次 数 (次 )、 平 均 眼 跳 幅 度 ( 度 )、 平 均 注视 时 间 (ms) 的 结果 。 
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2.2.3 ARATE 

(1) 平 均 注视 次 数 

平均 注视 次 数 方差 分 析 结 果 发 现 搜 索 集 大 小 
主 效应 显著 , F(2, 46) = 3.44, p = 0.04, mp = 0.13, it 
一 步 分 析 表 明 ， 搜 索 集 为 60 条 件 的 注视 次 数 (14.20 
次 ) 显 著 多 于 搜索 集 为 36 条 件 (13.11 X, p = 0.01) 的 
注视 次 数 。 搜 索 集 为 48 条 件 (13.57 次 ) 的 注视 次 数 
与 搜索 集 为 60 条 件 (p = 0.183) 和 搜索 集 为 36 条 件 
(p = 0.261) 的 注视 次 数 都 无 显 车 差异。 视听 刺激 空 
间 一 致 性 主 效应 显著 , F(3, 69) = 7.45, p < 0.001, 
Np = 0.25, 进一步 分 析 表 明 ， 同 侧 条 件 的 注视 次 数 
(12.77 次 ) 最 少 ,并 且 显 闭 少 于 双 侧 条 件 (13.45 次 ， 
p = 0.02)、 对 侧 条 件 (14.16 次 ,p= 0.002) 以 及 无 声音 
条 件 (14.12 次 , p = 0.003) 的 注视 次 数 。 双 侧 条 件 的 
注视 次 数 显著 少 于 对 侧 条 件 = 0.036) 以 及 无 声音 
条 件 (p = 0.048) 的 注视 次 数 。 对 侧 注 视 次 数 最 多 ， 
并 且 和 无 声音 条 件 无 显著 差异 (p = 0.90)。 搜索 集 大 
小 和 视听 空间 一 致 性 的 交互 作用 不 显著 ，F(6, 138) = 
0.92, p= 0.48( 见 图 2b). 

(2) 平 均 眼 跳 幅 度 

平均 眼 跳 幅 度 方差 分 析 结 果 发 现 搜 索 集 大 小 
主 效应 显著 , F(2, 46) = 63.31, p < 0.001, mp = 0.73, 
进一步 分 析 表 明 , 搜索 集 为 60 条 件 的 眼 跳 幅度 
(4.96°) 显 车 大 于 搜索 集 为 48 条 件 (4.50°, p < 0.001) 
和 搜索 集 为 36 条 件 (4.21°, p < 0.001) 的 眼 跳 幅 度 ， 
搜索 集 为 48 条 件 的 眼 跳 幅 度 显 著 大 于 搜索 集 为 36 
条 件 (p < 0.001) 的 眼 跳 幅度 。 视 听 空 间 一 致 性 主 效 
应 显著 , FG, 69) = 5.63, p = 0.002, my = 0.20， 进 一 
步 分 析 表 明 ， 同 侧 条 件 的 眼 跳 幅 度 (4.64?) 最 大 ， 且 
显著 大 于 双 侧 条 件 (4.55°, p = 0.017)， 对 侧 条 件 
(4.54°, p = 0.028) 以 及 无 声 首 条 件 (4.49°, p < 0.001) 
的 眼 跳 幅度 ， 双 侧 条 件 与 对 侧 条 件 (p = 0.875) 和 无 
声音 条 件 = 0.154) 无 显著 差异 ， 对 侧 条 件 与 无 声 
音 条 件 也 无 显著 差异 (p = 0.156)。 

搜索 集 大 小 和 视听 空间 一 致 性 的 交互 作用 显 
著 , F(6, 138) = 5.61, p < 0.001, m5= 0.20。 简 单 效应 
分 析 发 现 ， 只 有 在 搜索 集 为 60 条 件 下 , 不 同 视听 刺 
激 空 间 一 致 性 条 件 有 显著 差异 ，F(3，21) = 13.05, 
p < 0.001, np = 0.65。 同 侧 条 件 的 眼 跳 幅 度 (5.14°) 最 
大 ,并且 显著 大 于 对 侧 条 件 (4.87°, p < 0.001) 以 及 
无 声音 条 件 (4.80°, p = 0.001) 的 眼 跳 幅度 ， 与 双 侧 
条 件 (5.03°, p = 0.34) 的 眼 跳 幅 度 无 显著 差异 。 双 侧 
条 件 的 眼 跳 幅 度 也 显著 大 于 无 声音 条 件 (p = 0.004) 
和 对 便条 件 (p = 0.018) 的 眼 跳 幅度 。 无 声音 条 件 的 
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眼 跳 幅度 最 小 ， 和 对 侧 条 件 无 显著 差异 (p = 0.42)。 
在 搜索 集 为 48 和 搜索 集 为 36 REF, 不 同 视 听 刺 
激 空 间 一 致 性 条 件 无 显著 差异 , F, 21) = 2.37, p = 
0.099; F(3, 21) = 1.24, = 0.32 ( 见 网 2c)。 

(3) 平 均 注 视 时 间 

平均 注视 时 间 方 差分 析 结 果 发 现 搜 索 集 大 小 
主 效应 不 显著 , F(2, 46) = 0.51, p = 0.60; 视听 刺激 
空间 一 致 性 主 效应 不 显著 , F(3, 69) = 1.52, p = 0.22; 
二 者 交互 作用 不 显著 , F(6, 138) = 0.87, p = 0.52 ( 见 
图 2d). 

本 实验 进一步 分 析 了 4 种 条 件 下 (视觉 目标 出 
现在 同一 位 置 上 ) 的 眼 动 轨迹 和 热点 图 (以 搜索 集 60 
为 例 , 见 图 3) 与 无 声音 的 基线 条 件 相 比 ， 同 侧 条 
件 下 的 搜索 效率 最 高 ， 注 视 次 数 最 少 ， 双 侧 条 件 次 
之 。 虽 然 对 侧 条 件 的 注视 次 数 比 无 声音 的 注视 次 数 
少 一 些 , 但 相 比 于 其 他 两 个 条 件 ， 注视 次 数 明显 增 
多 , 搜索 效率 明显 降低 。 

2.3 讨论 

实验 1 通过 操纵 搜索 集 大 小 与 听觉 刺激 呈现 位 
置 ， 考察 视听 空间 一 致 性 对 Pip-and-Pop 效应 的 影 
Wo HREM, 与 无 声音 的 基线 条 件 相 比 ， 同 侧 条 
件 下 的 反应 时 最 短 ， 搜 索 过 程 中 的 平均 注视 次 数 最 
少 , 平均 眼 跳 幅度 最 大 ,表明 同 侧 条 件 下 的 搜索 效 
率 最 高 ， 即 同 侧 条 件 所 产生 的 Pip-and-Pop 效应 最 
大 ; 其 次 双 侧 条 件 也 产生 了 Pip-and-Pop 效应 , 但 
产生 的 效应 比 同 侧 条 件 弱 ; 而 对 侧 条 件 在 上 述 指标 
中 与 无 声音 条 件 无 显著 差异 ， 即 对 侧 条 件 下 没有 发 
ER Pip-and-Pop 效应 ,实验 结果 表明 , 视听 刺激 空间 
一 致 性 对 Pip-and-Pop 效应 产生 了 影响 ,视听 刺激 
在 空间 位 置 上 越 一 致 , 所 产生 的 Pip-and-Pop 效应 
越 大 。 

同 侧 条 件 下 ， 当 上 听觉 刺激 从 目标 侧 声 道 发 出 ， 
在 听觉 刺激 的 有 效 空间 信息 的 作用 下 ,被 试 可 以 直 
接 定 位 到 目标 侧 进 行 搜 索 , 在 目标 侧 通过 少量 注视 , 
大 幅度 眼 跳 快速 地 搜索 到 目标 线段 ， 搜 索 时 间 短 ， 
效率 高 , 所 以 产生 的 Pip-and-Pop 效应 最 大 。 这 说 明 
听觉 刺激 可 能 被 当 作 提示 线索 ， 从 而 导致 搜索 效率 
的 提高 。 但 听觉 刺激 引导 被 试 到 同 侧 后 并 没有 立即 
定位 到 目标 位 置 ,在 接 下 来 的 搜索 过 程 中 ， 听 觉 刺 
激 仍然 起 到 增强 视觉 目标 变化 凸显 性 的 作用 ， 因 为 
在 双 侧 条 件 下 ， 即 使 没有 提示 线索 的 作用 ,也 发 现 
了 Pip-and-Pop 效应 。 所 以 可 能 是 听觉 刺激 的 提示 
及 其 与 视觉 目标 整合 的 共同 作用 导致 搜索 效率 的 
提高 , 产生 Pip-and-Pop 效应 。 而 对 侧 条 件 下 ， 当 听 
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a 无 声音 条 件 同 侧 条 件 


双 侧 条 件 
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对 侧 条 件 


b 同 侧 条 件 vs 无 声音 条 件 对 侧 条 件 vs 无 声音 条 件 


双 侧 条 件 vs 无 声音 条 件 


同 侧 条 件 vs 对 侧 条 件 


图 3 实验 1 眼 动 轨迹 和 热点 图 
TE: 图 3a 分 别 为 4 种 声音 条 件 的 眼 动 轨迹 图 ， 其 中 黄色 线路 代表 有 眼 动 轨迹 ,小 圆圈 代表 注视 次 数 。 图 3b 为 各 个 条 件 之 间 对 比 的 差 
异 热 点 图 ， 其 中 每 个 热点 图 中 vs 左 侧 条 件 为 蓝 色 ,， 右 侧 条 件 为 红色 。 


觉 刺激 从 非 目标 侧 声 道 发 出 , 在 听觉 刺激 的 无 效 空 
间 信 息 作 用 下 , 被 试 先 在 非 目 标 侧 进 行 大 量 搜 索 后 
再 回 到 目标 侧 搜 索 , 在 非 目 标 侧 进行 多 次 注视 ， 眼 
跳 幅 度 不 断 缩小 进行 细致 搜索 , 没有 发 现 上 日 标 线段 
后 再 回 到 目标 侧 进 行 搜索 , 相 比 于 同 侧 条 件 ， 对 侧 
条 件 在 非 目 标 侧 的 无 效 搜索 产生 了 搜索 成 本 , 通过 
两 个 条 件 的 注视 次 数 差 异 热 点 图 也 可 以 明显 地 发 
现 对 侧 条 件 在 非 目标 侧 上 的 搜索 成 本 ( 见 图 3)， 所 
以 同 侧 条 件 的 搜索 效率 显著 高 于 对 侧 条 件 。 以 往 人 研 
究 发 现 与 不 提供 空间 信息 的 听觉 刺激 相 比 ， 提 供 空 
间 信 息 的 听觉 刺激 能 够 减少 被 试 辨 别 和 检测 目标 
的 潜伏 期 (Perrott et al., 1990)。 因 此 ,听觉 线索 和 视 
觉 目标 在 空间 位 置 上 一 致 可 以 有 效 的 将 被 试 的 空 
间 注 意 指 癌 视 觉 目标 , 更 加 利于 被 试 搜索 到 视觉 目 
标 。 此 外 ,也 有 研究 发 现 来 自 不 同 通 道 的 刺激 位 置 
接近 时 ,产生 的 多 感觉 相互 作用 最 强 ; 不 同 通 道 的 
刺激 之 间 空 间距 离 增加 时 多 感觉 相互 作用 减弱 
(Lewald et al., 2001; Slutsky & Recanzone, 2001; 
Soto-Faraco et al., 2003; Stein & Stanford, 2008), 2% 
E, 本 实验 中 的 同 侧 条 件 可 能 是 听觉 刺激 的 提示 作 
用 和 视 、 听 刺激 方位 一 致 产生 了 较 强 的 多 感觉 相互 
作用 ， 二 者 共同 促进 了 搜索 效率 ,所 以 产生 的 
Pip-and-Pop 效应 最 大 ; 而 对 侧 条 件 可 能 是 听觉 刺 
激 的 无 效 提 示 作 用 和 两 个 通道 刺激 方位 不 一 致 ， 距 
离 增 大 , 多 感觉 相互 作用 减弱 ， 所 以 不 足以 产生 
Pip-and-Pop 效应 。 

实验 中 的 双 侧 条 件 也 产生 了 Pip-and-Pop 效应 ， 


因为 当 听 党 刺激 从 双 声 道 发 出 , 形成 了 无 空间 信息 
的 听觉 刺激 ,无 空间 信息 的 听觉 刺激 和 视觉 目标 同 
步 呈现 时 ， 听 觉 刺 激 促 进 了 视觉 目标 的 识别 (Giard 
& Peronnet, 1999; Ngo & Spence, 2012; Yang et al., 
2014)。 人 研究 中 对 目标 识别 的 促进 可 能 是 多 感觉 整合 
的 促进 效应 (multisensory performance improvement 
effects)， 类 似 于 以 往 人 研究 中 的 宛 余 信号 效应 
(redundant signals effect, RSE) (Mishler & Neider, 
2016; Mishler & Neider 2018)， 即 个 体 对 多 通道 刺 
激 的 反应 比 单 通道 刺激 反应 更 加 快速 和 准确 (van 
den Brink et al., 2014; van der Stoep et al., 2015)。 以 
往 人 研究 也 发 现 多 感觉 整合 后 的 刺激 比 单 通道 刺激 
更 容易 吸引 注意 (Lunn et al，2019)。 此 外 ，Zou 等 
(2012) 人 研究 发 现 ， 当 同步 呈现 听觉 刺激 时 , 与 非 目 
标 侧 相 比 ,日 标 侧 的 注视 次 数 更 多 , 说 明 被 试 更 可 
能 拒绝 没有 视觉 目标 的 一 侧 , 并 且 快 速 的 将 眼 跳 指 
向 目标 所 在 的 一 侧 (Zou et al., 2012)。 虽然 双 侧 条 件 
下 的 听觉 刺激 没有 提供 有 效 空间 信息 ,但 双 通 道 的 
整合 促进 作用 和 双 通 道 刺激 吸 引 更 多 注意 使 搜索 
效率 提高 ,无 空间 信息 的 听觉 刺激 对 于 眼 动 的 调节 
也 可 以 使 搜索 效率 提高 ， 从 而 产生 Pip-and-Pop 效应 。 

综 上 所 述 , Pip-and-Pop 效应 是 通过 减少 注视 次 
数 ， 增 加 眼 跳 幅度 ， 进 而 缩短 搜索 时 间 产 生 的 。 实 
验 1 无 论 是 反应 时 结果 还 是 眼 动 指标 结果 都 表明 ， 
视听 刺激 空间 一 致 性 对 Pip-and-Pop 效应 产生 了 影 
响 ， 视 听 刺 激 在 空间 位 置 上 越 一 致 ， 所 产生 的 
Pip-and-Pop 效应 越 大 。 
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3 实验 2: 视听 时 间 一 致 性 对 
Pip-and-Pop 效应 的 影响 
实验 2 的 目的 是 考察 Pip-and-Pop 效应 是 否 遵 


循 时 间 原 则 ， 即 时 间 一 致 性 对 Pip-and-Pop 效应 是 
否 具 有 调节 作用 。 


3.1 方法 
3.1.1 ix 


采用 G*Power toolbox 3.1.9.2 计算 实验 所 需 最 
小 样本 量 (Erdfelder et al., 2009; Faul et al., 2007). 
根据 听觉 刺激 对 视觉 搜索 影响 的 研究 (van der Burg 
et al., 2008), 重复 测量 方差 分 析 时 视听 时 间 一 致 性 
的 效应 量 np = 0.53, 设置 参数 I 类 错误 的 概率 a 
error prob 为 0.05, 检验 效能 Power (1 — P err prob) 
为 0.9, 计算 得 到 最 小 样本 量 为 24。 为 避免 眼 动 数 
据 缺 失 导 致 样本 量 不 足 , 在 大 学 生 中 招募 被 试 35 
名 ,其 中 8 名 被 试 在 实验 中 有 过 多 有 皮 眼 导 致 数据 缺 
KAA, SEDNPEA EN 27 人 (男生 5 名, 女生 22 
Z), 年龄 18 至 25 岁 , 平均 年 龄 20.7 岁 (SD = 2.4)。 
所 有 被 试 均 为 右 利 手 ， 听力 、 视 力 或 矫正 视力 正常 ， 
无 色盲 色弱 。 在 实验 完成 后 被 试 会 获得 相应 的 报酬 。 
3.1.2 ”实验 仪器 和 材料 

实验 仪器 同 实验 1。 视 觉 刺 激 材料 有 两 点 不 同 
于 实验 1: 第 一 , 本 实验 中 搜索 集 大 小 为 36 和 60, 
由 于 实验 1 中 只 在 平均 眼 跳 幅度 这 个 指标 上 发 现 了 
搜索 集 48 与 36 和 60 有 显著 差异 ， 而 反应 时 .平均 


1000 ms 注视 点 


无 声音 条 件 
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注视 次 数 以 及 平均 注视 时 间 上 均 无 显著 差异 ， 所 以 
取消 了 搜索 集 为 48 的 条 件 。 第 二 , 在 听觉 刺激 与 视 
觉 目标 变化 不 一 致 呈现 条 件 下 , 为 了 使 听觉 刺激 与 
视觉 干扰 刺激 的 变化 同步 呈现 , 将 本 实验 中 的 线段 
变化 间隔 由 实验 1 中 的 50 ms、100 ms、150 ms 三 
种 改 为 100 ms 一 种 变化 间隔 。 

听觉 刺激 材料 同 实 验 1。 听 觉 刺 激 与 视觉 目标 
颜色 变化 之 间 的 时 间 间 隔 (TTI: tone-target interval) 
有 6 种 :(1) 无 声音 条 件 :不 呈现 听觉 刺激 ; (2) TTI = 
-200 ms 条 件 : 听觉 刺激 先 于 视觉 目标 颜色 变化 
200 ms 呈现 ; (3) TTI = -100 ms 条 件 : 听觉 刺激 先 
于 视觉 目标 颜色 变化 100 ms 呈现 ; (4) TTI = 0 ms 
条 件 : 听觉 刺激 与 视觉 目标 颜色 变化 同步 呈现 ; 
(5) TTI= 100 ms 条 件 : 听觉 刺激 晚 于 视觉 目标 颜色 
变化 100 ms 呈现 ; (6) TTI = 200 ms 条 件 : 听觉 刺激 
晚 于 视觉 目标 颜色 变化 200 ms 呈现 。 
3.1.3 ”实验 设计 和 程序 

实验 采用 2 (搜索 集 大 小 : 36, 60) x 6 (视听 时 
间 一 致 性 : 无 声音 条 件 , -200 ms, -100 ms, 0 ms, 
100 ms, 200 ms) 两 因素 被 试 内 实验 设计 。 实 验 具 体 
流程 如 图 4a 所 示 , 与 实验 1 的 实验 流程 完全 一 致 。 
正式 实验 包括 12 组 ， 每 种 搜索 集 大 小 和 视听 刺激 
时 间 一 致 性 条 件 分 别 在 不 同 组 中 呈现 , 每 组 有 48 
个 试 次 , 共 576 个 试 次 。 每 组 之 前 都 有 12 个 练习 
试 次 。 组 间 人 允许 被 试 休息 ， 整 个 实验 大 约 持续 90 
分 钟 。 


无 声音 条 件 


m 


~ 


|: 视觉 目标 1: 视觉 干 护 刺 激 
TTI: 听觉 刺激 与 视觉 目标 时 间 间隔 


g : 上 听觉 刺激 


图 4 实验 2 流程 和 视听 刺激 条 件 图 
TE: 图 4a 为 实验 2 流程 图 ， 首先 进行 漂移 校准 ,校准 后 呈现 中 央 注 视点 , 1000 ms 后 呈现 搜索 屏 。 搜 索 屏 以 视听 刺激 条 件 中 的 无 声 
音 条 件 为 例 ,视觉 刺激 以 搜索 集 36 为 例 , 包括 35 个 干扰 线段 , 1 个 目标 线段 。 图 4b 是 6 种 TTI (听觉 刺激 与 视觉 刺激 之 间 的 时 间 间 
隔 : tone-target-intervalD) 条 件 ， 其 中 黑色 线段 是 指 目标 线段 颜色 变化 ; 灰色 线段 是 指 干扰 线段 颜色 变化 ; 小 喇叭 是 指 发 出 听觉 刺激 ( 详 


情 阅 读 方法 部 分 )。 


1318 心 理 


3.1.4 ”数据 分 析 

选取 指标 同 实 验 1。 为 了 考察 视听 时 间 一 致 性 
和 搜索 集 大 小 对 Pip-and-Pop 效应 的 影响 ,对 所 有 
指标 都 进行 了 2 (搜索 集 大 小 : 36, 60) x 6 (TTI: 无 
声音 , -200 ms, 一 100 ms, 0 ms, 100 ms, 200 ms) 的 重 
复 测 量 方差 分 析 。 
3.2 ”结果 与 分 析 

数据 剔除 标准 同 实验 1。 最 终 剔 除 试 次 占 总 试 
次 的 2%。 
3.2.1 正确 率 

所 有 被 试 正 确 率 均 达到 98% 以 上 , 正确 率 方 
差分 析 结 果 发 现 搜 索 集 大 小 主 效应 不 显著 ,Fl(l， 
26) = 0.49, p = 0.49; TTI 主 效应 不 显著 , F(5, 130) = 
0.89, p = 0.49; 二 者 交互 作用 不 显著 , F(5, 130) = 
1.64, p = 0.15。 各 个 实验 条 件 下 的 正确 率 均 较 高 。 
3.2.2 ”反应 时 

反应 时 方差 分 析 结 果 发 现 搜 索 集 大 小 主 效应 
显著 , FC, 26) = 102.81, p < 0.001, np = 0.80， 进 一 
步 分 析 表 明 ， 搜索 集 为 60 条 件 的 反应 时 (4.61 s) 
著 长 于 搜索 集 为 36 条 件 (2.82 s) 的 反应 时 ; TTI 主 效 
应 显著 , F(5, 130) = 8.91, p < 0.001, ni = 0.26， 进 一 
步 分 析 表 明 , TTI 为 0 ms (2.73 s) 时 , 反应 时 最 短 ， 
并 显著 短 于 其 他 5 种 TTI 条 件 (ps < 0.001)。 其 次 是 
-100 ms 条 件 (3.26 s, p = 0.001) 和 100 ms 条 件 
(3.44 s, p = 0.021) 的 反应 时 都 显著 短 于 无 声音 条 件 
(4.40 s) 的 反应 时 ; -200 ms 条 件 (3.85 s, p = 0.174) 和 
200 ms 条 件 的 反应 时 (4.60 s, p = 0.744) 与 无 声音 条 
件 的 反应 时 无 显著 差异 ; -200 ms 条 件 的 反应 时 显 
著 长 于 -100 ms 条 件 (p = 0.001) 的 反应 时 , 200 ms 条 
件 的 反应 时 显著 长 于 100 ms 条 件 (p = 0.001) 的 反 
应 时 。 

搜索 集 大 小 与 TT 的 交互 作用 显著 ，F(5， 
130) = 3.96, p = 0.002, np = 0.13, 简单 效应 分 析 发 
现 ， 两 种 搜索 集 条 件 下 TTI 主 效应 显著 : 在 搜索 集 
为 60 AYER, F(5, 22) = 17.26, p < 0.001, ni = 0.80, 
TTI 为 0 ms (3.35 s) 时 ， 反 应 时 最 短 ， 并 显著 短 于 其 
他 5 种 TTI 条 件 (ps < 0.001)。 其 次 是 -100 ms 条 件 
(3.96 s, p = 0.002) 和 100 ms 条 件 (4.22 s, p = 0.02) 的 
反应 时 都 显著 短 于 无 声音 条 件 (5.65s) 的 反应 时 ; 
-200 ms 条 件 (4.77 s, p = 0.15) 和 200 ms 条件 (5.74 s, 
p=0.921) 的 反应 时 与 无 声音 条 件 的 反应 时 无 显著 差 
异 。-200 ms 条 件 的 反应 时 显著 长 于 -100 ms 条 件 
(p = 0.001) 的 反应 时 , 200 ms 条 件 的 反应 时 显著 长 
于 100 ms 条 件 (p < 0.001) 的 反应 时 ,在 搜索 集 为 36 
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条 件 下 , F(5, 22) = 8.30, p < 0.001, np = 0.65, 0 ms & 
件 的 反应 时 (2.11 s) 也 最 短 ， 并 显著 短 于 其 他 5 种 
TTI 条 件 (ps < 0.001)。 其 次 是 -100 ms 条 件 (2.57 s) 
的 反应 时 显著 短 于 无 声音 条 件 (3.15 s, p = 0.01), 
100 ms 条 件 (2.67 s) 的 反应 时 与 无 声音 条 件 无 显著 
差异 (p = 0.092); -200 ms 条 件 (2.93 s, p = 0.372) 和 
200 ms 条 件 (3.47 s, p = 0.489) 的 反应 时 与 无 声音 条 
件 的 反应 时 无 显著 差异 。-200 ms 条 件 的 反应 时 与 
-100 ms 条 件 的 反应 时 差异 显著 (p = 0.018), 200 ms 
条 件 的 反应 时 与 100 ms 条 件 的 反应 时 差异 显著 
(p = 0.013) (LAI 5a)。 
3.2.3 ”有 眼 动 数据 

(1) 平 均 注视 次 数 

平均 注视 次 数 方差 分 析 结 果 发 现 搜 索 集 大 小 
主 效应 显著 , F(1, 26) = 113.85, p < 0.001, ns = 0.81, 
进一步 分 析 表 明 , 搜索 集 为 60 条 件 的 注视 次 数 
(16.88 次 ) 显 著 多 于 搜索 集 为 36 条 件 (10.31 次 ) 的 注 
视 次 数 。TTI 主 效应 显著 , F(5, 130) = 11.47, p < 
0.001, ns= 0.31,， 进一步 分 析 表 明 , TTI 为 0 ms (9.85 
次 ) 时 ,注视 次 数 最 少 ， 并 显著 少 于 其 他 5 种 TTI 条 
件 (ps < 0.001)。 其 次 是 -100 ms 条 件 (11.93 x, p < 
0.001) 和 100 ms 条 件 (12.65 次 , p = 0.006) 的 注视 次 
数 显 著 少 于 无 声音 条 件 (16.46 次 ) 的 注视 次 数 。 
-200 ms 条 件 (14.03 次 , p = 0.082) 和 200 ms 条 件 
(16.64 次 , p = 0.926) 的 注视 次 数 与 无 声音 条 件 的 注 
视 次 数 无 显著 差异 ; -200 ms 条 件 的 注视 次 数 显著 
多 于 -100 ms 条 件 的 注视 次 数 (p < 0.001), 200 ms 条 
件 的 注视 次 数 显著 多 于 100 ms 条 件 的 注视 次 数 
(p < 0.001)。 

搜索 集 大 小 与 TT] 的 交互 作用 显著 ，F(5， 
130) = 5.11, p < 0.001, = 0.16, 简单 效应 分 析 发 
现 ， 两 种 搜索 集 条 件 下 TTI 主 效应 显著 : 在 搜索 集 
为 60 条 件 下 , F(5, 22) = 19.33, p < 0.001, ni = 0.82, 
TTI 为 0ms (12.02 次 ) 时 ,注视 次 数 最 少 , 并 显著 少 
于 其 他 5 种 TTI 条 件 (ps < 0.001)。 其 次 是 -100 ms 
条 件 (14.43 WK, p = 0.001) 和 100 ms 条 件 (15.56 次 ， 
p= 0.01) 的 注视 次 数 显著 少 于 无 声音 条 件 (20.90 次 ) 
的 注视 次 数 ; -200 ms 条 件 (17.27 次 , p = 0.079) 和 
200 ms 条 件 (20.10 次 , p = 0.943) 的 注视 次 数 与 无 声 
音 条 件 的 注视 次 数 无 显著 差异 ; -200 ms 条 件 的 注 
视 次 数 显 著 多 于 -100 ms 条 件 的 注视 次 数 (P < 
0.001), 200 ms 条 件 的 注视 次 数 显 车 多 于 100 ms 条 
件 的 注视 次 数 (p < 0.001)。 在 搜索 集 为 36 条 件 下 ， 
F(5, 22) = 10.19, p < 0.001, ?= 0.70, 0 ms 条 件 的 注 
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图 5 实验 2 结果 图 
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视 次 数 (7.68 次 ) 也 最 少 ， 并 显著 少 于 其 他 5 种 TTI 
条 件 (ps < 0.001)。 其 次 是 -100 ms 条 件 (9.44 次 ,p = 
0.002) 和 100 ms 条 件 (9.75 次,p = 0.019) 的 注视 次 数 
显著 少 于 无 声音 条 件 (12.02 次 ) 的 注视 次 数 ; 
-200 ms 条 件 (10.79 次 , p = 0.18) 和 200 ms 条 件 
(12.19 次 , p = 0.902) 的 注视 次 数 与 无 声音 条 件 的 注 
视 次 数 无 显著 差异 。-200 ms 条 件 的 注视 次 数 显著 
多 于 -100 ms 条 件 的 注视 次 数 (p = 0.018), 200 ms 条 
件 的 注视 次 数 显著 多 于 100 ms 条 件 的 注视 次 数 
(p = 0.006) ( 见 图 Sb)。 

(2) 平 均 眼 跳 幅 度 

平均 眼 跳 幅 度 方差 分 析 结 果 发 现 搜 索 集 大 小 
主 效应 显著 , F(1, 26) = 9.01, p = 0.006, ni = 0.26, 
进一步 分 析 表 明 , 搜索 集 为 60 条 件 的 眼 跳 幅度 
(4.59°) 显 著 大 于 搜索 集 为 36 条 件 (4.37°) 的 眼 跳 幅 
BE, TTI 主 效应 显著 , F(5, 130) = 4.67, p = 0.001, 
np = 0.15, 进一步 分 析 表 明 , TTI 为 0 ms (4.78°) 时 ， 
眼 跳 幅度 最 大 ,并 显著 大 于 其 他 5 种 TTI 条件 (ps < 
0.021)。 其 次 是 -100 ms 条 件 (4.49°, p = 0.032) 和 和 
100 ms 条 件 (4.50°, p = 0.003) 显 著 大 于 无 声音 条 件 
(4.25°) 的 眼 跳 幅 度 ; -200 ms 条 件 (4.43°, p = 0.055) 
和 200 ms (4.45°, p = 0.151) 的 眼 跳 幅度 与 无 声音 条 
件 的 眼 跳 幅 度 无 显著 差异 ; -200 ms 条 件 的 眼 跳 幅 


度 与 -100 ms 条 件 的 眼 跳 幅度 无 显著 差异 (p = 
0.545), 200 ms 条 件 的 眼 跳 幅度 与 100 ms 条 件 的 眼 
跳 幅 度 无 显著 差异 (2 = 0.727)。 搜 索 集 大 小 与 TTI 
的 交互 作用 不 显著 , F(5, 130) = 2.13, p = 0.066 ( 见 
图 5c). 

(3) 平 均 注 视 时 间 

平均 注视 时 间 方 差分 析 结 果 发 现 TTI 的 主 效应 
显著 , F(5, 130) = 4.39, p = 0.001, mr = 0.14, 进一步 
分 析 表 明 , TTI 为 0 ms (245.04 ms) 时 , 注视 时 间 最 
K, 并 显著 长 于 其 他 5 种 TTI 条 件 (ps < 0.026)。 
100 ms 条 件 (237.03 ms, p = 0.031) 和 -100 ms 条 件 
(236.11 ms, p = 0.036) 的 注视 时 间 显 车 长 于 无 声音 
条 件 (228.14 ms) 的 注视 时 间 ; 200 ms 条 件 
(237.25 ms, p = 0.061D) 和 -200 ms 条 件 (234.59 ms, 
p = 0.187) 的 注视 时 间 与 无 声音 条 件 的 注视 时 间 无 
显著 差异 ; 200 ms 与 100 ms 的 注视 时 间 无 显著 差异 
(p = 0.909), -200 ms 与 -100 ms 的 注视 时 间 无 显著 
差异 = 0.691)。 搜 索 集 大 小 主 效应 不 显著 ，F(1， 
26) = 1.42, p=0.25; 搜索 集 大 小 与 TTI 的 交互 作用 
不 显著 , F(5, 130) = 1.26, p = 0.29 ( 见 图 5d). 
3.3 ”讨论 

实验 2 通过 操纵 搜索 集 大 小 和 听觉 刺激 与 视觉 
目标 的 间隔 时 间 ， 考 察 视 听 刺 激 时 间 一 致 性 对 
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Pip-and-Pop 效应 的 影响 。 结果 发 现 ， 与 无 声音 的 基 
线条 件 相 比 ， 听 觉 刺 激 与 视觉 目标 颜色 变化 之 间 的 
时 间 间 隔 (TTD 在 0 ms, -100 ms, 100 ms 条 件 下 , 搜 
索 反 应 时 都 显著 变 短 , 搜索 过 程 中 的 注视 次 数 减 少 ， 
平均 眼 跳 幅 度 增 加 , 平均 注视 时 间 变 长 ; 当 TTI 为 
-200 ms 和 200 ms 时 ,与 无 声 首 条 件 无 显著 差异 。 
这 说 明 TTI 在 -100 ms 到 100 ms 产生 了 Pip-and-Pop 
效应 ,其 中 TTI 为 0 ms 时 Pip-and-Pop 效应 最 大 ， 
-200 ms 和 200 ms 两 种 条 件 没 有 产生 Pip-and-Pop 
效应 。 实 验 结果 表明 视听 刺激 时 间 越 一 致 ， 
Pip-and-Pop 效应 越 大 。 

研究 结果 表明 ,反应 时 与 TTI 之 间 的 关系 呈 U 
型 曲线 : TTI 的 绝对 值 越 小 , 反应 时 越 短 。TTI 在 
一 100 ms 到 100 ms 产生 了 Pip-and-Pop 效应 ,这 与 
视听 整合 的 时 间 窗 口 一 致 (Lewald et al., 2001; 
Lewald & Guski, 2003)。 并 且 在 早期 研究 中 发 现 ,与 
视觉 目标 时 间 上 同步 的 听觉 刺激 会 增加 视觉 刺激 
的 感知 强度 (Stein et al., 1996), 所 以 0 ms 条 件 下 同 
步 的 听觉 刺激 可 能 会 增强 对 视觉 日 标的 感知 ， 产生 
的 Pip-and-Pop 效应 最 大 。 而 -200 ms 和 200 ms 条 
件 不 在 视听 整合 的 时 间 窗 范围 内 ， 即 使 听觉 刺激 存 
E, 但 不 能 有 效 的 与 视觉 目标 进行 整合 ， 所 以 没有 
产生 Pip-and-Pop 效应 。 

在 平均 注视 次 数 眼 动 指 标 中 发 现 了 与 反应 时 
相同 的 结果 , 平均 注视 次 数 与 TTI 之 间 的 关系 呈 U 
型 曲线 :TTI 的 绝对 值 越 小 , 平均 注视 次 数 越 少 ; 平 
均 眼 跳 幅 度 与 平均 注视 时 间 结 果 也 表明 只 有 TTI 在 
0 ms, -100 ms, 100 ms 条 件 下 ,， 才 会 优化 搜索 的 眼 
动 行为 。 这 种 在 眼 动 行为 上 的 优化 在 以 往 研 究 中 被 
认为 是 冰冻 效应 (freezing effect) 所 致 , Zou 等 (2012) 
使 用 平均 注视 时 间 来 量化 冰冻 效应 。 即 无 空间 信息 
的 听觉 刺激 “冰冻 ”了 眼 动 ， 突 然 出 现 的 听觉 刺激 抑 
制 了 眼 跳 ,使 腿 跳 延迟 ， 从 而 搜索 过 程 中 的 平均 注 
视 时 间 变 长 , 那么 被 试 就 可 以 在 更 长 的 时 间 和 更 广 
阔 的 空间 内 通过 增 大 眼 跳 幅 度 、 减 少 注视 次 数 对 视 
觉 目标 进行 搜索 从 而 更 精确 地 引导 接 下 来 的 注视 
指向 目标 ， 加快 对 目标 的 定位 。 此 外 ， 由 这 种 “ 冰 
冻 ” 所 引起 的 时 间 变 长 不 仅 可 以 提高 目标 在 当前 区 
域 的 搜索 效率 , 也 可 以 快速 拒绝 目标 不 在 的 区 域 ， 
从 而 提高 整体 的 搜索 效率 (Zou et al., 2012)。 与 以 往 
人 研究 结果 不 同 的 是 ， 本 人 研究 发 现 0 ms 条 件 时 的 平 
均 注 视 时 间 最 长 ， 这 说 明 上 听觉 刺激 对 视觉 搜索 的 促 
进 作 用 并 不 全 是 冰冻 效应 引起 的 。 综 上 表明 
Pip-and-Pop 效应 遵循 时 间 一 致 性 原则 , 视听 刺激 
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呈现 时 间 越 一 致 , 产生 的 Pip-and-Pop 效应 越 大 。 
4 总 讨论 


本 人 研究 采用 动态 视觉 搜索 范式 , 通过 两 个 实验 
考察 视听 刺激 空间 一 臻 性、 时间 一 致 性 对 Pip- 
and-Pop 效应 的 影响 。 实 验 1 发 现 同 侧 条 件 所 产生 
的 Pip-and-Pop 效应 最 大 ， 双 侧 条 件 也 产生 了 Pip- 
and-Pop 效应 ， 对 侧 条 件 没 有 产生 Pip-and-Pop 效应 ; 
实验 2 发 现 视听 刺激 同时 呈现 所 产生 的 Pip-and- 
Pop 效应 最 大 ， 随 视听 刺激 呈现 时 间 间 隔 的 增加 
Pip-and-Pop 效应 减弱 。 人 赋 究 表明 ,视听 刺激 在 空 
间 、 时 间 上 越 一 致 ， 对 Pip-and-Pop 效应 越 大 。 

41 知觉 负荷 在 视听 时 、 空 一 致 性 对 Pip-and- 
Pop 效应 影响 中 的 调节 作用 

本 人 研究 的 两 个 实验 都 发 现 了 搜索 集 大 小 对 
Pip-and-Pop 效应 的 影响 ,实验 1 在 平均 眼 跳 幅度 指 
标 中 发 现 了 搜索 集 大 小 和 视听 空间 一 致 性 存在 交 
互 作 用 ; 实验 2 在 反应 时 和 注视 次 数 两 个 指标 中 发 
现 了 搜索 集 大 小 和 视听 时 间 一 致 性 存在 交互 作用 。 
前 人 研究 表明 , 在 识别 单个 目标 时 增加 干扰 刺激 数 
量 , 意味 着 存在 更 大 的 认 知 负担 (Pluta et al., 2011), 
那么 研究 中 增 大 搜索 集 也 就 意味 着 增 大 了 知觉 负 
售 ， 两 个 实验 结果 都 表明 搜索 集 大 的 条 件 所 产生 的 
El be, TH {ny A Pip-and-Pop 效应 大 。 

实验 1 发 现 只 有 在 搜索 集 为 60 条 件 下 ， 视 听 空 
间 一 致 性 才 会 增加 平均 眼 跳 幅 度 。 根据 知觉 负 葆 理 
论 , BACT kR H tat RPP, FE te Al E a r AB 
件 下 被 试 需 要 集中 所 有 注意 资源 参与 到 任务 中 
(Lavie，2005)， 本 研究 中 相 比 于 其 他 两 个 搜索 集 条 
IF, 搜索 集 为 60 条 件 下 被 试 投入 了 更 多 的 注意 资 
源 ， 所 以 产生 的 Pip-and-Pop 效应 最 大 。 

实验 2 发 现在 搜索 集 为 36 条 件 下 反应 时 和 注 
视 次 数 两 个 指标 的 听觉 刺激 作用 均 有 减 小 。 在 反应 
时 和 注视 次 数 这 两 个 指标 上 ,搜索 集 为 36 REF 
仅 发 现 视听 刺激 间隔 在 0 ms 条 件 和 -100 ms 条 件 时 
对 搜索 有 促进 作用 , 100 ms 条 件 对 搜索 不 再 有 促进 
作用 。 此 外 ,在 Zou 等 (2012) 使 用 搜索 集 为 36 的 研 
究 中 表明 ,反应 时 与 眼 动 结果 都 发 现 无 论 视听 刺激 
呈现 时 间 是 否 一 致 ， 对 搜索 都 有 促进 作用 , 但 时 间 
条 件 之 间 没 有 显著 差异 (Zou et al., 2012)。 其 原因 可 
能 是 所 使 用 的 搜索 集 较 小 ， 相 应 的 知觉 负 俩 也 小 。 
已 有 人 研究 表明 知觉 负 蓓 影响 听觉 刺激 对 视觉 搜索 
的 促进 作用 , 在 搜索 复杂 而 非 简单 的 视觉 刺激 时 ， 
声音 的 促进 效果 更 强 (Knoeferle et al., 2016), HbA 
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在 搜索 集 为 36 条 件 下 ,视觉 搜索 任务 简单 ， 仅 根据 
视觉 目标 的 颜色 变化 也 能 快速 搜索 到 视觉 目标 ， 而 
在 搜索 集 为 60 条 件 中 ， 只 有 同步 的 听觉 刺激 与 视 
觉 目 标 整合 吸引 更 多 的 注意 ,才能 更 快 的 搜索 到 视 
觉 目 标 。 综 上 两 个 实验 结果 都 说 明知 觉 负 和 荷 在 视听 
空间 一 致 性 和 视听 时 间 一 致 性 影响 Pip-and-Pop 效 
应 中 起 到 了 调 市 作用 。 
4.2 ”Pip-and-Pop 效应 的 产生 原因 

本 人 研究 表明 视听 刺激 空间 一 致 性 和 时 间 一 臻 
性 影响 Pip-and-Pop 效应 ,这 说 明 Pip-and-Pop 效应 
遵循 多 感觉 整合 的 两 个 重要 原则 ， 即 实验 1 人 研究 结 
果 符 合 多 感觉 整合 的 空间 原则 ; 实验 2 研究 结果 符 
合 多 感觉 整合 的 时 间 原 则 。 基于 以 往 人 研究 和 本 人 研究 
的 结果 可 以 推测 Pip-and-Pop 效应 产生 的 原因 至 少 
有 一 部 分 是 由 多 感觉 整合 所 引起 的 。 以 往 研 究 中 对 
Pip-and-Pop 效应 的 解释 除了 多 感觉 整合 以 外 ,也 
有 研究 者 认为 是 oddball 刺激 吸引 注意 产生 了 
Pip-and-Pop 效应 .Ngo 等 (2010b) 人 研究 发 现 ， 呈现 视 
觉 线 索 时 对 视觉 目标 的 促进 作用 与 呈现 听觉 线索 
时 对 视觉 目标 的 促进 作用 没有 显著 差异 , 这 表明 无 
论 刺 激 是 单 通 道 还 是 双 通 道 ， 只 要 与 视觉 目标 同时 
呈现 的 线索 使 视觉 目标 变 成 一 个 oddball 刺激 ,这 
种 促进 效应 就 能 出 现 (Ngo & Spence, 2010b)。 

那么 本 人 研究 中 所 发 现 的 Pip-and-Pop 效应 是 否 
也 可 以 用 oddball 刺激 吸引 注意 来 解释 呢 ? 第 一 ， 
本 人 研究 中 除了 基线 的 无 声音 条 件 外 ， 两 个 实验 所 有 
的 条 件 都 是 通过 视听 双 通 道 刺 激 呈 现 的 , 所 以 即使 
本 人 研究 中 与 视觉 目标 同时 呈现 的 听觉 线索 使 视觉 
目标 变 成 oddball 刺激 吸引 注意 可 以 产生 Pip-and- 
Pop 效应 , 但 也 无 法 排除 视听 整合 在 其 中 的 作用 。 
第 二 , 本 研究 中 的 听觉 线索 包含 了 有 空间 信息 和 无 
空间 信息 听觉 线索 两 种 ， 以 往 发 现 oddball 刺激 吸 
引 注意 的 视觉 搜索 研究 中 只 有 无 空间 信息 听觉 线 
R, 二 者 情况 并 不 一 致 。 第 三 , 本 研究 中 所 使 用 的 
动态 视觉 搜索 范式 与 以 往 发 现 oddball 刺激 吸引 注 
意 的 视觉 搜索 范式 不 同 。 例 如 ,本 研究 中 被 试 在 动 
态 和 厅 乱 的 干扰 物 中 搜索 视觉 目标 , 同步 的 听觉 线 
索 可 以 让 视觉 目标 比 干 扰 物 更 显著 , 也 就 是 说 ,让 
视觉 目标 从 周围 的 干扰 物 刺激 中 “pop-out”， 从 而 提 
高 搜索 效率 。 而 发 现 oddball 刺激 吸引 注意 的 研究 
使 用 的 是 序列 呈现 的 视觉 搜索 范式 , 视觉 目标 的 呈 
现时 间 非 党 短暂 ,同步 的 线索 以 一 种 冰冻 的 方式 ， 
允许 被 试 在 短 时 间 内 对 视觉 目标 进行 搜索 从 而 提 
高 搜索 效率 (Ngo & Spence, 2012)。 第 四 ,以 往 研 究 
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表明 , 相 比 于 多 感觉 整合 ，oddball 刺激 吸引 注意 能 
更 好 的 解释 冰冻 效应 ， 当 注意 力 被 oddball 刺激 吸 
引 时 , 会 引起 主观 时 间 变 长 (Tse et al., 2004)。 本 人 研 
究 中 只 有 实验 2 发 现 了 突然 出 现 的 声音 冰冻 了 有 眼 跳 ， 
从 而 通过 平均 注视 时 间 变 长 来 调 市 眼 动 。 实验 1 中 
并 没有 发 现 平均 注视 时 间 变 长 , 原因 可 能 是 受到 有 
空间 信息 的 听觉 线索 的 影响 ,被 试 可 以 通过 空间 信 
息 来 调 市 眼 动 ， 并 不 需要 “冰冻 ”来 搜索 视觉 目标 。 

综 上 四 点 原因 , 我 们 推测 Pip-and-Pop 效应 的 
产生 原因 有 一 部 分 是 由 多 感觉 整合 所 引起 的 , 但 也 
不 能 完全 排除 或 确定 oddball 吸引 注意 在 其 中 的 作 
用 , 所 以 Pip-and-Pop 效应 的 具体 产生 原因 还 有 待 
实验 进一步 探究 。 


5 结论 


视听 刺激 空间 一 致 性 、 时 间 一 致 性 对 Pip-and- 
Pop 效应 具有 调 市 作用 。 视听 刺激 空间 位 置 越 一 致 ， 
Pip-and-Pop 效应 越 大 ; 视听 刺激 呈现 时 间 越 一 致 ， 
Pip-and-Pop 效应 越 大 。 当 前 研究 结果 为 Pip-and- 
Pop 效应 产生 的 原因 是 多 感觉 整合 提供 了 证 据 。 此 
外 ,在 未 来 的 研究 中 应 基于 动态 视觉 搜索 范式 , 设 
置 明确 的 视听 整合 条 件 与 oddball 刺激 吸引 注意 条 
件 进行 对 比 ， 进 一 步 实 验 探 究 Pip-and-Pop 效应 的 
产生 机 制 。 
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Abstract 

Previous studies usually used the dynamic visual search paradigm to explore the Pip-and-Pop effect, which 
suggests that the Pip-and-Pop effect is influenced by multiple factors. But the impact of temporal and spatial 
consistency of audiovisual stimuli on the Pip-and-Pop effect is still controversial. In the present study, we 
applied the eye movement technology to the dynamic visual search paradigm to systematically investigate the 
impact of temporal and spatial consistency of audiovisual stimuli on the Pip-and-Pop effect. Based on the results 
of previous studies, we expected that the spatial and temporal consistency of audiovisual modulated the 
Pip-and-Pop effect. The more consistent the spatial location of audiovisual stimuli are, the greater the 
Pip-and-Pop effect will be. The more consistent the temporal audiovisual stimuli are, the greater the Pip-and-Pop 
effect will be. 

Experiment 1 was a 3 (set sizes: 36, 48, 60) x 4 (spatial consistency conditions: ipsilateral, contralateral, 
bilateral, no sound) within-subjects design, recruited 24 participants (5 males; age range: 19~28 years; mean age: 
22.5 + 2.3 years). The visual search displays consisted of 24, 36, or 48 red (13.9 cd/m’) or green (46.4 cd/m’) 
line segments (0.57°x0.17°) on a black (0.4 cd/m?) background. The auditory stimulus was 1000 Hz pure tone 
(65 dB, 60 ms, including 5 ms fade-in and 5 ms fade-out time), presented through speakers on the left and right 
sides behind the screen. Each trial started with a drift calibration point. The drift calibration point would not 
disappear until the participant gazed upon this point. This was followed by a central fixation point of 1000ms, 
and finally a search screen. The participants were required to find the target line segment and judge whether the 
target line segment was vertical or horizontal by pressing the key (Z key or M key) as quickly and accurately as 
possible. Experiment 2 was a 2 (set sizes: 36, 60) x 6 (temporal consistency conditions: —200 ms, —100 ms, 0 ms, 
100 ms, 200 ms, no sound) within-subjects design, recruited 27 participants (5 males; age range: 18~25 years; 
mean age: 20.7 + 2.4 years). These temporal consistency conditions represent the tone sounded before (—200, 
—100 ms), simultaneous with (0 ms), or after (100, 200 ms) the visual target event. The tone could also be absent 
(no sound). The experimental materials and procedures of Experiment 2 were identical to those in Experiment]. 

Regarding the results in Experiment 1, compared with the baseline condition (no sound), the search 
response time was the shortest under the condition of ipsilateral, the mean fixation number was the least, and the 
mean saccade amplitude was the smallest, indicating that the search efficiency was the highest in the ipsilateral 
condition, the Pip-and-Pop effect was the largest in the ipsilateral condition. The bilateral condition was the 
second. The contralateral condition showed no significant difference in the above indicators compared with the 
no sound condition, indicating that no Pip-and-Pop effect was found in the contralateral condition. The results 
showed that the more consistent the spatial location of audiovisual stimuli were, the greater the Pip-and-Pop 
effect was. In Experiment 2, compared with the no sound condition, we found that the response time of the 
search was significantly shorter, the mean fixation number in search decreased, the mean saccade amplitude 
increased, and the mean fixation duration became longer under the conditions of 0 ms, —100 ms and 100 ms. 
Compared with the no sound condition, conditions —200 ms and 200 ms showed no significant difference in the 
above indicators. This indicated that the conditions of 0 ms, —100 ms and 100 ms produced the Pip-and-Pop 
effect, and the Pip-and-Pop effect was the largest under the condition of Oms, while the Pip-and-Pop effect did 
not find under the condition of —200 ms and 200 ms. The results showed that the more consistent the temporal 
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audiovisual stimuli were, the greater the Pip-and-Pop effect was. 

In summary, the results showed that the more consistent the audiovisual stimuli were in space and time, the 
larger the Pip-and-Pop effect was. Therefore, the findings in the present study suggest that the temporal and 
spatial consistency of audiovisual stimuli modulates the Pip-and-Pop effect. The results provide evidence that 
the reason for the Pip-and-Pop effect is multisensory integration. 

Keywords Pip-and-Pop effect, audiovisual spatial consistency, audiovisual temporal consistency, dynamic visual 
search, eye movement technique 


